package sparkcore.day2.lesson01

import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Administrator on 2018/4/20.
  */
object WordCount {
  def main(args: Array[String]): Unit = {
    /***
      * spark-shell:
      *   spark： SparkSession 主要针对的是SparkSQL:
      *                        SparkSQL程序入口
      *   sc:  SparkCore对象，SparkCore的程序入口
      */
      val conf = new SparkConf()
      //如果这个参数不设置，默认认为你运行的是集群模式
      //如果设置成local代表运行的是local模式
      conf.setMaster("local")
      //设置任务名
      conf.setAppName("WordCount")
       //创建SparkCore的程序入口
      val sc = new SparkContext(conf)
    //读取文件 生成RDD
      val fileRDD: RDD[String] = sc.textFile("hdfs://hadoop1:9000/hello.txt")

    val array: Array[String] = fileRDD.collect()

    for( number <-  array){
       println(number)
    }


//      fileRDD.cache() //把所有的数据都放入内存里面
//      fileRDD.persist(StorageLevel.MEMORY_ONLY)
    /**
      * fileRDD.persist(StorageLevel.MEMORY_ONLY)  ==  fileRDD.cache()
      */






    sc.stop()

  }

}
